其他
OPPO 应用分发业务黑灰产对抗实践
导读 本文将介绍 OPPO 应用分发业务在面对黑灰产攻击时的防控实践。
文章将围绕以下四点展开:1. 应用分发业务及黑灰产攻击介绍
2. 整体防控架构及对抗思路
3. 典型案例介绍
4. 总结&展望
分享嘉宾|王建 OPPO广东移动通信有限公司 高级风控算法工程师
编辑整理|肖禹
内容校对|李瑶
出品社区|DataFun
应用分发业务及黑灰产攻击介绍
1. 应用分发业务介绍
2. 应用分发业务的刷量产业链
“假机”阶段,黑产使用模拟器和云真机等工具,通过破解应用分发业务的协议,直接调用后端接口进行刷量。这种方法技术上较为简单,容易被识别和阻止。 “真机假用户”阶段。通过手机墙技术批量控制真实设备,进行虚假操作。这些账号往往是虚假注册或恶意注册的,以此来模拟真实用户的行为。 “真机真人假行为”阶段,黑产通过木马或具有再分发能力的应用程序,秘密植入用户手机中。在云端控制下,用户无感知地完成了下载、启动等任务,刷单行为更加隐蔽。 “真机真人假动机”阶段,通过众包、任务群等方式吸引所谓的“羊毛党”进行真人操作。在这个阶段,账号和设备都是真实的,但操作的动机是虚假的,主要是为了赚取佣金而非真正的应用需求。
整体防控架构及对抗思路
1. 应用分发业务流量反作弊架构
2.面临的问题及挑战
黑灰产攻击手段的不断演化与升级:随着黑灰产技术的不断进步,攻击手段也在不断演化和升级。这些攻击行为不仅会给平台收入造成损失,还可能对用户体验产生负面影响。为了应对这一问题,OPPO 构建了一个集感知、识别、评估和处置于一体的循环系统,重点是感知和评估体系的建设,以便及时捕捉到黑灰产攻击的最新趋势和变化。 流量反作弊的效果评估问题:与金融风控不同,业务风控缺乏一个明确的表现期来评估识别结果的精度。这使得业务风控在解释和预估用户价值方面存在一定的困难。为了解决这一问题,OPPO 构建了业务指标和名单库,通过近似评估的方式来衡量风控策略的有效性。 真人真机众包类流量的识别难题:随着众包平台的兴起,真人真机的刷量行为日益增多,这类流量的识别对于传统的风控系统来说是一个巨大的挑战。为了应对这一问题,OPPO 采取了构建真人众包子画像和开发专门的众包识别算法等策略,以专门识别和处置这类黑产攻击。
感知模块:主要目标是敏感地捕捉到黑灰产攻击的变化。为了实现这一目标,OPPO 采取了多种措施,包括收集外部情报、分析关联关系指标以及设备类指标。主要采用的分析维度包括环比、同比以及与大盘数据的对比分析。 识别模块:OPPO 已经建立了多种规则和算法。具体来说,这些规则和算法包括设备类规则、画像类规则,以及线上使用的无监督和有监督算法。此外,还采用了异常检测算法、图分析和图神经网络的社团挖掘方法等技术手段,以增强识别恶意流量的能力。 处置模块:OPPO 采取了三种主要的处置方式:首先是拒绝请求,即直接拦截恶意请求;其次是降级处理,主要应用于实时风控请求,例如识别到恶意请求后,将其降级处理,不再继续后续的算法分发和调用流程;最后是标记处置,即不对当前请求进行拦截,而是为其打上恶意标签,供下游业务方使用。 评估模块:目的是在风控实施后进行近似的评估,以判断识别结果的有效性。由于业务风控缺乏金融风控中的表现期,因此无法直接评估识别精度。OPPO 通过采用转化率指标,如安装成功率和启动转化成功率,来进行评估。这些指标能够反映出恶意流量相对于正常流量的偏低转化率,从而为评估识别结果提供依据。此外,还会利用名单库对当前识别结果进行评估,以此来衡量策略的有效性。
解决的问题:黑名单应该具备高可用性和跨周期作弊的打击能力。这意味着黑名单是能够实时调用的,并跟踪记录历史上有可疑行为的设备请求或账号,以便打击那些可能在不同时间段内重复作弊的资源。 黑名单类型:黑名单的构建应侧重于黑产使用的稀缺资源,如 IP 地址、设备标识和账号等,这些都可以作为构建黑名单的重要维度。 更新机制:黑名单需要定期更新,包括新条目的加入和旧条目的移除。加入黑名单的标准通常是基于强规则,如命中次数限制;而移出黑名单的标准则可能参考设备或账号最后的活跃时间,以保持名单的时效性和准确性。 质量保证:为了保证黑名单的质量,需要对新接入黑名单的趋势进行监控,同时监控准确率和误伤率,确保黑名单中的名单准确且有效。
筛选环节:首先,通过社团挖掘算法,如 Louvain 或连通分支等,从大量数据中筛选出可能的黑产团伙。然后,根据社团的属性,如大小、节点分布特征和聚集情况,进一步筛选出真正具有恶意行为的团伙。例如,可以根据设备属性如 APP 版本或操作系统版本进行筛选。 监控环节:在识别出恶意团伙后,OPPO 会持续监控这些团伙的活动趋势,包括识别量的增减情况。如果出现异常变化,如识别量急剧上升或下降,将及时进行分析,以确定是否需要调整算法或筛选条件。 应用:包含两方面的应用,一是将识别出的恶意团伙的所有请求标记为刷量,即认定该设备下的所有流量,包括下载、点击和搜索等,均为恶意流量。二是将恶意团伙的信息纳入名单库,以便其他业务或实时风控系统进行调用,从而实现跨业务的联防联控。
事件序列特征选取:在模型构建的初始阶段,首先需要从用户在应用中的行为中筛选出有意义的事件序列特征。这一步骤涉及到从大量的埋点数据中提取出真实用户的关键行为,并去除冗余的埋点信息。 黑白样本标记:为了训练行为序列模型,需要有明确标记的黑白样本。这些样本的标记可能来源于强规则的判定或历史数据的分析。 模型选择与训练:在选取了合适的特征和样本后,可以选择适合的模型进行训练,如长短时记忆网络(LSTM)、卷积神经网络(CNN)等。这些模型能够学习到序列中的隐含信息,并进行有效的分类预测。 预测结果应用:模型训练完成后,可以将预测结果直接作为规则用于线上流量的分类和识别。同时,也可以对召回的样本进行离线分析,以进一步优化模型的性能。 模型监控与告警:在模型部署后,需要对模型的稳定性和预测结果的准确性进行持续监控。这包括对模型预测结果的实时跟踪和分析,确保模型在实际应用中的有效性和可靠性。
典型案例介绍
1. 游戏中心流量反作弊
接口破解与伪造数据阶段:在此阶段,黑产尝试破解游戏中心的协议接口,通过模拟器等手段伪造数据,模拟正常用户的访问链路。OPPO 通过监控关键特征,如行为序列的完整性和 IP 地址的异常性,采取相应的对抗措施。 IP 资源对抗阶段:黑产开始使用海量 IP 资源,通过代理拉取 IP 地址来规避基于 IP 的打击。OPPO 通过结合设备基础信息和 IP 属性,加强了对异常设备属性的识别,以对抗此类攻击。 设备信息盗用阶段:黑产盗用正常用户的活跃设备信息,进行虚假上报。OPPO 通过分析设备活跃度、常用地点和绑定账号等特征,识别出异常设备行为,从而进行有效对抗。 模拟器使用阶段:黑产采用模拟器模拟设备在某地的活跃状态,同时批量注册虚假账号。OPPO 通过构建账号画像,包括风险评分、使用习惯和设备真实性等维度,来识别和对抗这种攻击。 真人真设备操作阶段:黑产雇佣真人操作真实设备进行刷量,这种攻击行为与真实用户行为难以区分。OPPO 通过制定细致的线上策略,尽量避免误伤正常用户,同时识别出此类真人众包行为。
刷量请求的显著降低:通过一段时间的防控措施,游戏中心的日均搜索刷量请求从占总业务总量的 25% 显著下降至 1.5%。这表明,经过 OPPO 的反作弊系统识别和过滤,超过 98% 的刷量请求被成功拦截和处理。 下载量价格的提升:OPPO 的游戏中心下载量价格相比业界其他平台有所提高,这一现象反映出黑产攻击 OPPO 平台存在一定的难度。较高的价格可能是由于黑产在攻击过程中遭遇了更多的挑战和阻碍,从而导致了攻击成本的增加。
2. 主题商店真人众包反作弊
04
总结&展望
工具链的完善:为了应对黑灰产攻击的不断演化和升级,OPPO 认识到必须不断完善工具链。这包括选择和使用合适的算法来应对特定的挑战,以及确保这些工具和算法能够及时更新和迭代,以适应新的攻击手段。 反欺诈运营体系的辅助:OPPO 强调建立一个全面的反欺诈运营体系的重要性。这个体系不仅包括数据和规则的使用,还涉及到全链路监控,确保从数据采集到策略实施的每个环节都受到严格的监控和管理。这样的体系有助于及时发现和处理欺诈行为,减少平台和用户的损失。 黑产情报的获取:了解和获取黑产的情报对于构建有效的防控体系至关重要。OPPO 通过加强黑灰产工具的研究和模拟攻击行为,提高了对攻击手段的理解。同时,通过及时获取和分析情报,OPPO 能够更快速地调整防控策略,减少对正常业务的影响。
分享嘉宾
INTRODUCTION
王建
OPPO广东移动通信有限公司
高级风控算法工程师
2017 年毕业,先后从事互联网金融风控算法、业务风控算法等岗位。目前在 OPPO 主要负责应用分发业务的黑灰产对抗,包括搭建实时和离线防刷系统,感知、识别和处置作弊。
往期推荐
知乎 DMP/CDP 平台的应用和实践
Alluxio:面向 AI 计算的高性能数据访问平台
基于深度学习多实验叠加效果因果推断
Alluxio 在携程大数据平台的探索与优化
GraphGPT: 大语言模型的图结构指令微调
锁定营销敏感人群:因果推断在智能营销中的关键作用
B 站的数据治理运营框架实践「 内有案例分享 」
云器Lakehouse:Multi-Cluster弹性架构如何实现湖上高并发低延迟分析
大模型百度数据科学领域典型应用
点个在看你最好看
SPRING HAS ARRIVED